Ban đầu, ông kết hôn với Lý thị, người đã sanh ra hai người con trai là Võ Nguyên Khánh và Võ Nguyên Sảng. Sau đó, ông cưới thêm Dương thị, xuất thân từ gia đình quý tộc hoàng gia nhà Tuỳ, người đã sanh ra ba người con gái là Võ Tắc Thiên, Võ Thuận và một người là phu nhân của Quách Hiếu Thuận (郭孝慎).

Nhận thấy Võ Tắc Thiên không thích may vá, thêu thùa và làm việc nhà, thay vào đó lại rất quan tâm đến việc đọc sách. Vì vậy ông đã khuyến khích con gái mình học chữ và đọc nhiều sách, trái ngược với tư tưởng thời bấy giờ là phụ nữ không cần phải học hành mà phải tập làm công việc nhà. Khi Võ Sĩ Hoạch qua đời, hai người con trai của ông đối với Dương thị rất vô lễ.